#数楽 カノニカル分布の導出の話。暇を見つけて物理の人たちならよく知っているカノニカル分布の導出の話を勉強し直しているのですが、最初に理解できたことは、初歩的な確率論でよく出て来る「独立同分布(iid)」の状況設定ではSanovの定理やCramerの定理から〜続く

#数楽 続き〜、ボルツマン因子e^{-βE}はクリアに出て来る。最小KL情報量の原理(=最大相対エントロピーの原理)がSanovの定理によって数学的に厳密かつクリアに正当化され、ラグランジュの未定乗数法でボルツマン因子が出て来る。続く

#数楽 続き。注意：私は応用先を統計力学に限定しない数学的な考え方を勉強したいと思って色々調べているので、等確率の原理(等重率の原理)は仮定しないように気をつけている。ボルツマン因子の導出は等確率の原理とは無関係。以前はそのことを理解してなかった。続く

#数楽 続き。最近知ったのだが、等確率の原理を仮定しない場合のカノニカル分布は、金融方面では「確率分布のエッシャー変換」と呼ばれているらしい。どういう歴史的経緯でそのように呼ばれるようになったかについては何も調べていない。カノニカル分布は極めて普遍的。続く

#数楽 続き。等重率の原理を仮定していない場合のカノニカル分布は、統計学では「指数型分布族」と呼ばれています。たとえば、正規分布は統計力学でのMB分布として登場するので等重率の原理を仮定した場合のカノニカル分布の例になっています。続く

#数楽 続き。等重率の原理を仮定しない場合のカノニカル分布(指数型分布族に含まれる分布)の例もあって、二項分布、多項分布、ポアソン分布などがそうです。ガンマ分布や第1種と第2種ベータ分布は等重率の原理を仮定した場合の指数型分布族の例になっている。続く

#数楽 続き。統計力学の話に戻る。初歩的な確率論でよく出て来る「独立同分布」の設定(サイコロを何度もふる話だと思っておけば間違いない)では、熱浴の役目を果たすのは「独立同分布の試行を大量に繰り返すこと」になります。試行回数n→∞での様子を見る話。続く

#数楽 続き。注意深く書かれた統計力学の教科書(代表格は田崎さんが書いた教科書)では、熱浴が独立同分布の状況でなくても、ボルツマン因子が普遍的に出て来る理由が書いてあります。カノニカル分布=確率分布のエッシャー変換の普遍性を理解するとめには大事だと思う。続く

#数楽 続き。熱浴に注目する系が接しており、熱浴と注目する系を合わせた全体でエネルギー保存則が成立していると仮定。(ボルツマン因子を出すためには等重率の原理の仮定は必要ないので、以下では仮定しないことにします。) そして、熱浴のサイズ→∞の様子を見る。続く

#数楽 続き。熱浴についてはできる限り仮定を少なくします。独立同分布のような仮定はおかない。しかし何も仮定しないと先に進めないので、熱浴の確率分布について、熱浴のサイズ→∞での漸近挙動に関する仮定(ある種の大偏差原理の仮定)をおきます。続く

#数楽 続き。その仮定は熱浴のサイズをVと書くとき、S(U,V)=log(熱浴のエネルギーがU以下の確率)=Vs(U/V)+o(V)という典型的な大偏差原理の仮定です。S(U,V)は(相対)エントロピーで、s(u)は(相対)エントロピー密度。続く

#数楽 以下、熱浴と注目する系を合わせた全体のエネルギーはU以下だと仮定。さらに、(熱浴に接している注目する系のエネルギーがE_iである確率)=(熱浴と無関係に注目する系のエネルギーがE_iである確率)×(熱浴のエネルギーがU-E_i以下である確率)と仮定。

#数楽 続き。「熱浴と無関係に注目する系のエネルギーがE_iである確率」は、等重率の原理を仮定している場合にはすべての状態iで等しいと仮定することになるのですが、我々はそう仮定していないのでその確率をq_iと書くことにしましょう。

#数楽 続き。(熱浴のエネルギーがU-E_iとなる確率)=exp(S(U-E_i,V))は、V→∞での大偏差原理の仮定から、u=U/V、β(u)=s'(u)とおくと、exp(S(U)-β(u)E_i+o(1))の形になります。続く

#数楽 かくして、(熱浴に接している注目する系がエネルギーE_iの状態である確率)∝q_i exp(-β(u)E_i + o(1))、ここでo(1)はV→∞で0になる量という形の欲しい結果が得られます。続く

#数楽 続き。要するに、ボルツマン因子exp(−β(u)E_i)は、熱浴のエネルギーがU以下である確率がサイズV→∞で大偏差原理を満たしていることとおよびエネルギー保存則+αの仮定から、エントロピーのTaylor展開の一次の項から出て来る。続く

#数楽 そして、Taylor展開の2次以上の項は熱浴のサイズV→∞で消える。こういうストーリーならば、ボルツマン因子による確率分布q_iの変形(確率分布のエッシャー変換)が(独立同分布のような強い仮定抜きに)普遍的に出て来る理由もよくわかります。

#数楽 「熱浴」が「独立同分布の設定」の場合の大偏差原理は、熱浴のサイズ=独立試行の回数のSanovの定理(もしくはCramerの定理)として、(仮定ではなく)証明されているというわけです。やっと、何となく理解できた気分になれた。

#数楽 大偏差原理という用語が妙に権威的に響かないように補足。大偏差原理は「Laplaceの方法が使える設定」の一種に過ぎません。具体的には「log(確率)=λs+o(λ) as λ→∞」の型の設定を大偏差原理と呼んでいるようです。面白い話がたくさんある。

#数楽 「log(確率)=λs+o(λ) as λ→∞」の型の設定(大偏差原理)におけるsが(相対)エントロピー(密度)。-sはrateと呼ばれているらしい。大偏差原理が成立していれば、Laplaceの方法が使えて、色々な結論を出せる。

#数楽 Laplaceの方法の最も易しい例は、λ→∞で(1/λ)log(Σ e^{λs_i})→max{s_i}.λ→∞で最大エントロピーmax{s_i}しか効いてこない。

#数楽http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf … 62頁KL情報量とSanovの定理のノートに統計力学の教科書にある独立同分布のような強い仮定抜きに普遍的にカノニカル分布を出す方法の解説のやり直しを追加した。https://twitter.com/genkuroki/status/755752476117049345 … に書いた話。

#数楽 http://www.math.tohoku.ac.jp/~kuroki/LaTeX/20160616KullbackLeibler.pdf … このノート「KL情報量とSanovの定理」では等重率の原理を仮定していないので、(相対)エントロピーを一貫して「確率の対数」で定義している。だからエントロピーの増大と確率の上昇は同値。

#数楽 区間[0,1]上の一様分布に従ってランダムかつ独立に位置が決まる粒子がn個あるとき、0<a<1で決まる部分区間[0,a]にn個すべての粒子が含まれる確率の対数はS(a)=n log aになる。確率の対数はns+o(n) (o(n)の部分はない)の「大偏差原理」の形になる。

#数楽 続き。b>aのときすべての粒子が[0,b]に入っている確率の対数は S(b)=n log b > S(a)=n log a と大きくなる(自明)。統計力学の入門書にも似たような話がよく書いてあるが、「確率」ではなく、「場合の数」で書いてあることが多い。

#数楽 個人的な意見では、統計力学と確率論(特に大偏差原理)との関係において、「確率」の直観は排除しない方が健全だと思う。そのためには、大偏差原理の成立が証明されているケースの話と大偏差原理を仮定すれば出て来る話の明瞭な区別が重要だと思う。続く

#数楽 続き。たとえば、Sanovの定理やCramerの定理が独立同分布という強い仮定のもとで大偏差原理(Laplaceの方法を使える状況になっていること)を導いている。独立同分布のような仮定は物理的にはあまりにも強過ぎるので問題がある。しかし～、続く

#数楽 続き。しかし、Laplaceの方法が使える状況(=大偏差原理が成立している状況)という考え方自体は独立同分布の強すぎる仮定とは無関係である。実際、統計力学の教科書でも熱浴に関する大偏差原理の成立を仮定することによってカノニカル分布を普遍的に導いているように見える。

#数楽 H_1,H_2,…が独立同分布な確率変数のとき、H_1が注目する系、H_2,H_3,…を熱浴とみなせるという話を昨日した。独立なのに(高次も含めて相関が一切ないなのに)熱浴とみなせるのはそれらの和にH_1+…+H_n≦nuという制限を課すから。続く

#数楽 続き。カノニカル分布を考えるときに、n(u-δ)≦H_1+…+H_n≦nuではなく、H_1+…+H_n≦nuを考えれば十分という話は田崎さんの統計力学の教科書でも説明されている。この本が無ければ統計力学の勉強をやり直す気にはならなかった。

#数楽 uがH_1の平均以下の場合には、大数の法則によって(H_1+…+H_n)/n≦uという条件のもとで、(H_1+…+H_n)/nの分布はuに集中することになるので(大偏差原理の一部)、下側からおさえる不等式は無用になるという仕組み。

#数楽 だから、H_1+…+H_n≦nuという条件のもとで、n→∞で H_1+…+H_n=nu+o(n) となる。エネルギー密度がuになるという制限を課すこととH_1+…+H_n≦nuは本質的に同じ。

#数楽 もともとはH_1と確率変数として独立なH_2+…+H_nであっても、H_1+H_2+…+H_n≦nuという条件を課せば、熱浴の役目を果たしてくれて、カノニカル分布が得られるわけです。これは一般の場合も同じ。やっと熱浴の概念を理解できた感じ。

#数楽 熱浴話続き。注目系と次元nの何かの「直積」(この時点で注目系と何かは「独立」)を考えて、その直積上で何らかの方程式もしくは不等式を考えて、n→∞の漸近挙動をみる話になるのかな、熱浴の話は。